Partition, Prompt, Aggregate: Statistical Self-Consistency in Language Models
划分、提示、聚合：语言模型的统计自洽性
🧭 LLM概率校准与统计自洽性评估
Max Planck Institute for Intelligent Systems, Tübingen, Germany · ETH Zürich · ELLIS Institute, Tübingen · Tübingen AI Center
揭示LLM在上下文条件推断中普遍违反全概率公式，提出无参考的统计自洽性评估准则
📌 工作参考价值（4 点）
- 在电商/广告人群预测中，用LLM直接估计总体指标（如点击率、购买概率）可能不准，可改用树形属性划分（年龄、性别、消费层级），分别询问细粒度子群体概率，再按真实分布加权聚合，往往比总体提示更贴近真实数据。
- 构建推荐Agent的推理模块时，可加入自洽性检查：对同一用户群按不同维度划分（如兴趣标签、行为序列），要求LLM给出条件概率，然后验算聚合后是否满足全概率公式；不一致的地方可作为潜在偏差或知识盲区定位。
- 论文提出的无参考评估方法（Partition-Prompt-Aggregate）可直接用于检测推荐解释或用户画像生成中的群体偏见，无需人工标注，只需设计合理的树状划分schema即可量化LLM的统计自洽性。
- 实验发现的“宏观谬误”提示：使用LLM做粗粒度决策（如全局策略生成）时，可先查询细粒度子场景估计再汇总，可能提升决策质量，例如在广告预算分配中先按渠道、人群细分询问效果再聚合。